При использовании систем на кристалле, содержащих процессорную часть (PS-часть) и программируемую логику (PL-часть), во встраиваемых системах снижается энергопотребление и увеличивается скорость обработки данных. Проект PYNQ предоставляет платформу на основе Jupyter Notebook с API для языка Python, позволяющую взаимодействовать с элементами, размещенными в PL-части. Применение PYNQ дает возможность разделить части кода, отвечающие за взаимодействие с пользователем и аппаратными блоками, реализованными в PL-части. В работе в качестве примера использования технологии PYNQ рассмотрена задача движения робота по линии с помощью системы компьютерного зрения. Видеопоток поступает в PL-часть по интерфейсу TMDS. При применении только процессорных ядер для выделения линии на изображении данные сохраняются в ОЗУ контроллером DMA для видео (VDMA) и обрабатываются с применением библиотеки OpenCV. Подготовлено несколько конфигураций, которые демонстрируют поэтапный перенос операций обработки изображений в PL-часть. В результате сформирован конвейер, состоящий из этапов сжатия видео, преобразования из цветового пространства RGB в HSV, выделения цвета и подсчета моментов изображения. С помощью вычисления моментов определено положение центра выделенного объекта (цветной линии) в поле зрения камеры. Проведено сравнение производительности обработки видеопотока только процессорными ядрами (PS-частью) и комбинацией процессорных ядер и ПЛИС (PL- и PS-частей) рассматриваемой системы на кристалле. Выявлено существенное повышение производительности в PL-части по сравнению с полной обработкой в PS-части. Представленный модуль поиска цветной линии можно использовать в составе робота, ориентирующегося по данным лидара и стереокамеры.
-
Ключевые слова:
ПЛИС, PYNQ, OpenCV, компьютерное зрение
-
Опубликовано в разделе:
Информационно-коммуникационные технологии
-
Библиографическая ссылка:
Конченков В. И., Мангушев А. В., Марков А. Е. Система компьютерного зрения для мобильного робота на базе платформы PYNQ. Изв. вузов. Электроника. 2025;30(2):217–228. https://doi.org/10.24151/1561-5405-2025-30-2-217-228. EDN: BQXUPI.
1. Macenski S., Foote T., Gerkey B., Lalancette C., Woodall W. Robot Operating System 2: Design, architecture, and uses in the wild. Sci. Robot. 2022;7(66):eabm6074.
https://doi.org/10.1126/scirobotics.abm6074
2. Марков А. Е., Терехов С. Е., Андреев А. Е., Горелик Р. Е. Система движения по заданной траектории для беспилотного автомобиля. ИзвестияВолгГТУ. 2020;9(244):52–56.
https://doi.org/10.35211/1990-5297-2020-9-244-52-56. EDN: NTMIMS.
Markov A. E., Terekhov S. E., Andreev A. E., Gorelik R. E. Trajectory following system for autonomous car. Izvestiya VolgGTU = Izvestia Volgograd State Technical University. 2020;9(244):52–56. (In Russ.).
https://doi.org/10.35211/1990-5297-2020-9-244-52-56
3. Марков А. Е., Тарасов П. С., Дианский А. В., Горобцов А. С. Анализ точности SLAM алгоритмов на мобильной платформе. ИзвестияВолгГТУ. 2022;9(268):48–55.
https://10.35211/1990-5297-2022-9-268-48-55. EDN: DIJKWF.
Markov A. E., Tarasov P. S., Dianskiy A. V., Gorobtsov A. S. Accuracy analysis of SLAM algorithms on mobile platform. Izvestiya VolgGTU = Izvestia Volgograd State Technical University. 2022;9(268):48–55. (In Russ.).
https://doi.org/10.35211/1990-5297-2022-9-268-48-55
4. Python productivity for Zynq. PYNQ. Available at:
https://www.pynq.io/boards.html (accessed: 13.01.2025).
5. Perumal V. K., Supriyaa T., Santhosh P. R., Dhanasekaran S. CNN based plant disease identification using PYNQ FPGA. Syst. Soft Comput. 2024;6:200088.
https://doi.org/10.1016/j.sasc.2024.200088
6. Nguyen C. V., Quang T. L., Vu T. N., Thi H. L., Van K. N., Trong T. H. et al.A non-contact infection screening system using medical radar and Linux-embedded FPGA: Implementation and preliminary validation.Inf. Med. Unlocked. 2019;16:100225.
https://doi.org/10.1016/j.imu.2019.100225
7. Al Koutayni M. R., Reis G., Stricker D. DeepEdgeSoC: End-to-end deep learning framework for edge IoT devices. Internet Things. 2023;21:100665.
https://doi.org/10.1016/j.iot.2022.100665
8. Gunay B., Okcu S. B., Bilge H. S. LPYOLO: Low precision YOLO for face detection on FPGA. In: Proceedings of the 8th World Congress on Electrical Engineering and Computer Systems and Sciences (EECSS’22). Orleans: Avestia; 2022, MVML 108.
https://doi.org/10.11159/mvml22.108
9. Schmidt A. G., Weisz G., French M. Evaluating rapid application development with Python for heterogeneous processor-based FPGAs. In: 2017 IEEE 25th Annual International Symposium on Field-Programmable Custom Computing Machines (FCCM). Napa, CA: IEEE; 2017, pp. 121–124.
https://doi.org/10.1109/FCCM.2017.45
10. Machado F., Nieto R., Fernández-Conde J., Lobato D., Cañas J. M. Vision-based robotics using open FPGAs.Microprocess.Microsyst. 2023;103:104974.
https://doi.org/10.1016/j.micpro.2023.104974
11. Surya Prakash M., Ajay Vignesh K., Shyamsunthar J., Raman K., Senthil Raju J., Raju N. Computer vision assisted line following robot.Procedia Eng. 2012;38:1764–1772.
https://doi.org/10.1016/j.proeng.2012.06.215
12. DVI-to-RGB (Sink) 2.0 IP core user guide. GitHub. Available at:
https://github.com/Digilent/vivado-library/blob/master/ip/dvi2rgb/docs/dvi2rgb.pdf (accessed: 13.01.2025).
13. High-Definition Multimedia Interface specification version 1.3. DianYuan.com. 22.06.2006. Available at:
https://u.dianyuan.com/bbs/u/45/1157117643.pdf (accessed: 13.01.2025).
14. Vivado design suite. AXI reference guide UG1037 (v4.0). AMD Technical Information Portal. 15.07.2017. Available at:
https://docs.amd.com/v/u/en-US/ug1037-vivado-axi-reference-guide (accessed: 13.01.2025).
15. AXI Video Direct Memory Access v6.3 LogiCORE IP product guide. AMD Technical Information Portal. 08.06.2022. Available at:
https://docs.amd.com/r/en-US/pg020_axi_vdma (accessed: 13.01.2025).
16. Crockett L. H., Elliot R. A., Enderwitz M. A., Stewart R. W. The Zynq book: Embedded processing with the ARM Cortex-A9 on the Xilinx Zynq-7000 all programmable SoC. Glasgow: Strathclyde Academic Media; 2014. 484 p.
17. Color detection with HSV color space in OpenCV. DataTechNotes. 03.07.2023. Available at:
https://www.datatechnotes.com/2023/07/color-detection-with-hsv-color-space-in.html (accessed: 13.01.2025).
18. Color conversions. OpenCV. Available at:
https://docs.opencv.org/3.4/de/d25/imgproc_color_conversions.html (accessed: 13.01.2025).
19. Verilog-divider. GitHub. Available at:
https://github.com/risclite/verilog-divider (accessed: 13.01.2025).
20. Мангушев А. PYNQ line forward car. GitHub. Available at:
https://github.com/alexmangushev/PYNQ_car (accessed: 13.01.2025).
Mangushev A. PYNQ line forward car. GitHub.(In Russ.). Available at:
https://github.com/alexmangushev/PYNQ_car (accessed: 13.01.2025).